クラウドストレージへのファイルアップロード&ETLツール『Data Uploader』の入力にGoogle Cloud Storage(GCS)環境のファイルを指定する #データ統合基盤 #CSアナリティクス
当エントリは『クラスメソッド CSアナリティクス Advent Calendar 2020』5日目のエントリです。
- クラスメソッド CSアナリティクス Advent Calendar 2020 - Qiita
- クラスメソッド CSアナリティクス Advent Calendar 2020 ｜ 特集カテゴリー ｜ Developers.IO
- ビッグデータ分析支援のカスタマーストーリーアナリティクス｜クラスメソッド｜クラスメソッドのサービス
当エントリでは、クラスメソッドが展開しているデータ統合基盤サービス『CSアナリティクス』(以降"CSA")のプロダクト群の1つ、『Data Uploader』の入力に、任意のGoogle Cloud Storage(GCS)環境下のテキストファイルを指定する手順について紹介します。
目次
Google Cloud Storage(GCS)の接続設定の準備
入力：Google Cloud Storage(GCS)の設定を行うには、以下のエントリでも紹介している『接続を行いたいGoogle Cloud Storage(GCS)を管理するGCPアカウントで作成したサービスアカウントキー』が必要となります。GCS接続は、Amazon S3同様「入力」「出力」両方の方向に対応しています。
準備したサービスアカウントキーを、メニューの[設定]→[Google Cloud Storage]から遷移可能なGoogle Cloud Storage設定画面にて登録してください。
CSA Data Uploader入力：Google Cloud Storage環境の作成
当エントリでは、以下のような形でGCSバケットが存在し、データが格納されているケースを想定した入力要素を作成していきます。
Data Uploaderのジョブ一覧画面にて、[ジョブを作成]を押下、任意のジョブ名で[データアップロード]ジョブを作成します。(ファイルの変換処理が要らない場合はファイルアップロードジョブでもOKです)
入力要素の作成で入力種別に[Google Cloud Storage接続]を選択。
前述手順で作成した接続を選択。
バケット名以下、必要な情報を設定していきます。ファイル・フォルダパスについてはAmazon S3接続等と同様のルールです。[読み込みテスト]押下でアクセス可能なことを確認出来たら[保存]を押下。
入力要素の作成が完了しました。[データ表示]クリックでデータの内容も確認出来ました。
まとめ
という訳で、『クラスメソッド CSアナリティクス Advent Calendar 2020』5本目のエントリ、『Data Uploader』の入力に任意のGoogle Cloud Storage(GCS)環境のファイルを指定する手順の紹介でした。CSA Data Uploaderは1ヶ月間のトライアル利用が可能となっています。興味をお持ち頂いた方は是非無料版ダウンロードページからインストーラを入手頂き、お試し頂けますと幸いです。
では、明日(6日目)のエントリもお楽しみに！
